Năm 1876, Phan Đình Phùng đỗ cử nhân. Năm sau (1877), ông thi đậu Đình nguyên Tiến sĩ, được bổ làm tri huyện Yên Khánh (tỉnh Ninh Bình).

Tại triều, ông tố cáo nhiều vụ khuất tất, nên có lần được vua Tự Đức khen là "thử sự cửu bất phát, phùng Phùng nải phát" (việc này đã lâu không ai phát giác ra, nay gặp Phùng mới phát hiện được)[1], nên càng nổi tiếng về tính cương trực, được thăng lên chức Ngự sử trong triều.

Năm 1883, do phản đối việc Phụ chính Tôn Thất Thuyết phế truất vua Dục Đức, đưa Lãng Quốc Công Hồng Dật (vua Hiệp Hòa) lên ngôi, nên ông bị vị đại thần này cách chức, bắt giam rồi sau đó đuổi về quê nhà.

Năm 1884, Phan Đình Phùng được phục chức, rồi được bổ làm tham biện Sơn phòng Hà Tĩnh.